Pusat pemerintahan Sultan Perak adalah juga istana Sultan Perak. Istana sultan berubah-ubah dari Hilir Perak hingga ke Kuala Kangsar. Kebanyakan tempat-tempat ini terletak di tebing sebelah kanan Sungai Perak. Di sekitar Kampung Gajah memang banyak sekali makam-makam Sultan Perak.

Di antara pusat-pusat pemerintahan yang ada tercatat di dalam sejarah ialah :-

1. Tanah Abang - iaitu ditepi Sungai Perak yang sekarang di panggil Air Mati ,di dalam Mukim Bota, Makam Sultan Muzzaffar Shah 1 (Sultan Perak Pertama)
2. Kota Lama Kanan
3. Geronggong dalam Mukim Pulau Tiga,Kampung Gajah
4. Semat dalam Mukim Senggang,
5. Bota Kanan atau disebut juga sebagai Brahman Indera
6. Pulau Tiga, Kampung Gajah
7. Pulau Cempaka Sari di Parit
8. Pulau Indera Sakti di kuala Sungai Kinta , Kampung Gajah
9. Pasir Pulai Indera Mulia , Kampung Gajah
10. Bandar Baharu , Kampung Gajah - pejabat JWW Birch , British
11. Pasir Panjang, Kampung Gajah
12. Durian Sebatang, Teluk Intan - Sultan Abdullah Muhamad Shah 1874
13. Sayong, Kuala Kangsar
14. Batak Rabit, Teluk Intan

dan akhir sekali di Bukit Chandan, Kuala Kangsar iaitu semasa zaman Sultan Idris Murshidul Aadzam Shah di tabalkan menjadi Sultan Perak yang ke 28.

Sultan Perak dari pertama hingga sekarang.